Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Canopy：利用分段平滑树先验的多保真度老虎机
🧭 多保真树 bandit 优化 LLM 推理决策
Amazon · Columbia University
提出 CANOPY，在线学习树结构上的分段平滑性失效位置，将昂贵评估集中到不连续区域，提升多保真决策效率
📌 工作参考价值（4 点）
- 在电商/广告的多模型路由或策略选择中，可借鉴 CANOPY 的树结构多保真评估：用廉价内部节点（如小模型打分、压缩特征）快速估计候选池价值，只在检测到局部不平滑（如收益发生跳变）时才触发昂贵全量评估，显著降低 GPU 成本。
- 对生成式推荐 / Agent 的 test-time search，CANOPY 相比 uniform best-of-N 在 SWE-bench 上多解决 1.6 倍问题，说明通过随机路径探针识别搜索树中的高不确定分支，把预算集中在最有希望的子树上，可复用其「在线聚合偏差证书」思想提升 beam search 或候选生成的效率。
- Prompt 修剪与缓存管理中，可将 prompt token 序列建模为树，内部节点快速估计压缩前后的效果差异，仅在检测到质量突变时才进行完整生成评估；对 prefix caching 场景，CANOPY 的树节点价值估计可用于决定哪些前缀值得缓存或继续扩展，提升命中率并降低首 token 延迟。
- 算法层面，CANOPY 的保证「额外成本与不连续点数量可加」提示：在业务多臂老虎机问题中，如果收益函数分段平滑且边界未知，可采用类似随机探针 + 局部偏差检测的机制，避免全局平滑假设导致的搜索低效。